Karl của Burgund sinh vào ngày 24 tháng 2 năm 1500 tại Prinsenhof, một dinh thự tại thành phố thương mại Gent phồn thịnh ở xứ Vlaanderen.[6] Ông là con thứ hai, là con trai trưởng của Felipe el Hermoso và Juana của Castilla. Nhằm tưởng niệm ông ngoại quá cố Charles le Téméraire, Công tước Bourgogne, nên đứa trẻ sơ sinh đã được rửa tội dưới tên Karl tại nhà thờ thánh Bavôniô ở Gent bởi giám mục xứ Tournai vào ngày 7 tháng 3 năm 1500 và nhận được tước hiệu "Bá tước xứ Luxemburg".[7] Karl là cháu nội của vua La Mã-Đức (kể từ năm 1508 là Hoàng đế La Mã Thần thánh) Maximilian I của gia tộc Habsburg và Marie của Bourgogne và là cháu ngoại của cặp đôi Fernando II của Aragón và Isabella I của Castilla ("Quân chủ Công giáo"). Ông có người chị tên là Eleonore, và bốn người em là Isabella, Ferdinand, Maria và Katharina.

Nhằm công nhận quyền thừa kế vương miện Aragón và Castilla, cha mẹ của Karl đã sang Tây Ban Nha vào năm 1502. Felipe đã quay về Hà Lan vào năm 1503 để cai quản triều chính từ nơi đó. Trong thời gian này, Juana đã bắt đầu xuất hiện triệu chứng của bệnh tâm thần, muộn nhất là khi chồng của bà chết vào năm 1506, bà đã thực sự "mất liên hệ với thực tại" và được người đời gọi là "Juana Điên" (Juana La Loca). Nhiều khả năng là bà đã mắc bệnh tâm thần phân liệt nên đã được an trí tại một tu viện ở gần Tordesillas vào năm 1506 và sẽ sống tại đó cho đến khi mất ở tuổi 75.[8] Tới tận năm 1517, khi Karl đến Tây Ban Nha nhân dịp đăng quang, ông mới được gặp lại mẹ.

Bởi vậy, kể từ năm 1506, Karl, không mẹ không cha, đã lớn lên cùng hai chị em gái Eleonore và Isabella ở nhà của dì Margarete của Áo tại Bruxelles và Mechelen. Những người anh chị em khác đều sống cùng ông bà tại Tây Ban Nha. Margarete, một người có đầu óc chính trị, nhậm chức Thống đốc 17 tỉnh Hà Lan và được bổ nhiệm làm người giám hộ của cháu trai. Bà đã chăm sóc những đứa trẻ bằng lòng thương yêu và được chúng tin tưởng. Bà đã tạo điều kiện để Karl có thể luyện tập, chuẩn bị cho công việc của Quân vương sau này khi lớn lên. Ngoài Margarete ra thì Adriaan của Utrecht, người sau này sẽ trở thành Giáo hoàng Ađrianô VI, cũng đóng một vai trò quan trọng trong thời niên thiếu của Karl. Chính ông là người đã đặt nền tảng cho lòng mộ đạo mà đã đi cùng người học trò suốt cuộc đời (Devotio moderna). Hoàng đế Maximilian đã giao cháu mình quý tộc Guillaume II. de Croÿ truyền tải học vấn cho cháu mình và dạy cho nó cách làm người, cách cư xử, cách sống trong cung.[9] Qua đó, Karl, người vốn có tiếng mẹ đẻ là tiếng Pháp, đã được nuôi lớn theo văn hóa Bourgogne. Ngoài tiếng mẹ đẻ của mình, Karl chỉ nói được một ít tiếng Latinh, tiếng Đức và tiếng Vlaanderen.[10] Mặc dù cơ thể yếu ớt và mảnh dẻ, nhưng bằng sự cầu tiến và sự kỷ luật, Karl đã tập luyện, học được những bản năng quân sự quan trọng nhất, và có thể chứng minh được sự khéo léo, thể lực của bản thân trong những chuyến đi săn hay trong những cuộc đấu thương bằng ngựa. Ngay từ khi còn trẻ và đã đảm nhận trọng trách lớn, xung quanh Karl đã tỏa ra sự cô đơn, bởi vì thế mà trong suốt cuộc đời, ông là một người không dễ gần.[11]